Năm 1028, Thái Tổ Hoàng đế băng hà, chưa tế táng xong, thì các hoàng tử là Vũ Đức vương (武德王), Dực Thánh vương (翊聖王) và Đông Chinh vương (東征王) đã đem quân đến vây thành để tranh ngôi của Thái tử. Sử sách gọi là Tam vương chi loạn (三王之亂).

Bấy giờ các quan đứng đầu là Lý Nhân Nghĩa xin Thái tử Phật Mã cho đem quân ra thành quyết được thua một trận. Khi quân của Thái tử và quân các vương đối trận, thì quan Vũ vệ tướng quân là Lê Phụng Hiểu rút gươm ra chỉ vào Vũ Đức vương mà bảo rằng:

Các người dòm ngó ngôi cao, khi dễ tự quân, trên quên ơn tiên đế, dưới trái nghĩa tôi con, vậy Phụng Hiểu xin dâng nhát gươm này!

Nói xong tướng quân Lê Phụng Hiểu chạy xông vào chém Vũ Đức vương ở trận tiền. Quân các vương trông thấy sợ hãi bỏ chạy cả. Dực Thánh vương và Đông Chinh vương cũng phải chạy trốn.

Cũng trong năm 1028, nghe tin Vũ Đức vương bị giết trong cuộc chiến ngai vàng, Khai Quốc vương đóng ở phủ Trường Yên (Hoa Lư) lòng càng bất bình, cậy có núi sông hiểm trở bèn đem phủ binh làm phản. Lý Thái Tông thân đi đánh. Ngày đến Trường Yên, Khai Quốc vương đầu hàng. Vua hạ lệnh rằng: Ai cướp bóc của cải của dân thì chém. Quân sĩ nghiêm theo, không mảy may xâm phạm. Đại quân vào thành Hoa Lư, dân trong thành đem dâng biếu trâu rượu đứng đầy đường. Vua sai sứ tuyên chỉ động viên, cả thành vui to. Vua từ phủ Trường Yên về, xuống chiếu tha tội cho Khai Quốc vương, vẫn cho tước như cũ.[6]

Dẹp xong loạn Tam vương, ngày Kỷ Hợi (tức 1 tháng 4 năm 1028), Thái tử Lý Phật Mã lên ngôi, tức là Lý Thái Tông. Ông đổi niên hiệu là Thiên Thành (天成).

Về sau, Dực Thánh vương và Đông Chinh vương xin về chịu tội. Thái Tông nghĩ tình cốt nhục bèn tha tội cho, và lại phục chức cũ cho cả hai người.

Cũng vì sự phản nghịch của Tam vương, Lý Thái Tông mới lập lệ: cứ hàng năm, các quan phải đến đền Đồng Cổ (ở làng Yên Thái, Hà Nội) làm lễ đọc lời thề rằng:

Làm con phải hiếu, làm tôi phải trung, ai bất hiếu bất trung, xin quỷ thần làm tội.

Các quan ai trốn không đến thề phải phạt 50 trượng.